CentOS7下利用Ambari搭建HDP大数据平台

您所在的位置:网站首页 hive ui界面 CentOS7下利用Ambari搭建HDP大数据平台

CentOS7下利用Ambari搭建HDP大数据平台

2023-04-08 20:23| 来源: 网络整理| 查看: 265

参考官方文档

https://docs.cloudera.com/HDPDocuments/Ambari-2.6.2.2/bk_ambari-installation/content/install-ambari-server-rhel7.html https://docs.cloudera.com/HDPDocuments/Ambari-2.6.2.2/bk_ambari-installation/content/hdp_26_repositories.html https://docs.cloudera.com/HDPDocuments/Ambari-2.6.2.2/bk_ambari-installation/content/ambari_repositories.html

一、准备条件

1、jdk安装包 jdk-8u261-linux-x64.tar.gz

2、提前下载好ambari,HDP,HDP-UTILS 本地仓库Tarball文件

http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.6.2.2/ambari-2.6.2.2-centos7.tar.gzhttp://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.5.0/HDP-2.6.5.0-centos7-rpm.tar.gzhttp://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.22/repos/centos7/HDP-UTILS-1.1.0.22-centos7.tar.gz

二、操作系统基础环境准备

先在ambari机器上配置JDK,准备基础环境

1)、关闭防火墙

systemctl disable firewalldsystemctl stop firewalld

2)、关闭SELINUX

sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/configsetenforce 0

3)、设置ulimit 文件打开数为10000

在/etc/profile最后一行添加ulimit -n 10000

4)、安装JDK,配置环境变量

cd /opttar -zxvf jdk-8u261-linux-x64.tar.gzmv jdk1.8.0_261 /usr/local/cd /usr/local/mv jdk1.8.0_261 jdk

#在/etc/profile中添加如下行vi /etc/profileexport JAVA_HOME=/usr/local/jdkexport CLASSPATH=.:$JAVA_HOME/libPATH=$PATH:$JAVA_HOME/bin

5)、source /etc/profile生效

最后检查java,ulimit值

以上配置做好之后,可以poweroff关机做一个虚拟机快照,按这个虚拟机模板克隆4台机器 分别为bigdata1,bigdata2,bigdata3,bigdata4

三、主机名修改与免密钥登录配置

1)5台主机分别修改主机名

hostnamectl set-hostname ambarihostnamectl set-hostname bigdata1hostnamectl set-hostname bigdata2hostnamectl set-hostname bigdata3hostnamectl set-hostname bigdata4

2)配置ambari-server免密钥登录其他4台节点

ssh-keygen

3)配置主机域名解析

vi /etc/hosts添加如下行10.20.90.59 ambari10.20.90.60 bigdata110.20.90.61 bigdata210.20.90.62 bigdata310.20.90.63 bigdata4

4)拷贝公钥

ssh-copy-id root@bigdata1ssh-copy-id root@bigdata2ssh-copy-id root@bigdata3ssh-copy-id root@bigdata4ssh-copy-id root@ambari

5)主机域名解析文件拷贝到4台节点上

scp /etc/hosts root@bigdata1:/etcscp /etc/hosts root@bigdata2:/etcscp /etc/hosts root@bigdata3:/etcscp /etc/hosts root@bigdata4:/etc

并验证可以正常免密登录

四、配置Ambari HDP以及HDP-UTILS 本地yum源

在ambari服务器上配置Ambari HDP以及HDP-UTILS 本地yum源

yum install -y httpdcd /optmkdir /var/www/html/ambarimkdir /var/www/html/hdptar -zxf ambari-2.6.2.2-centos7.tar.gz -C /var/www/html/ambari/tar -zxf HDP-2.6.5.0-centos7-rpm.tar.gz -C /var/www/html/hdp/tar -zxf HDP-UTILS-1.1.0.22-centos7.tar.gz -C /var/www/html/hdp/systemctl start httpdsystemctl enable httpd

SFTP上传到/opt目录下

验证Ambari HDP以及HDP-UTILS 本地yum源均可以正常访问

http://10.20.90.59/ambari/ambari/centos7/2.6.2.2-1/http://10.20.90.59/hdp/HDP/centos7/2.6.5.0-292/http://10.20.90.59/hdp/HDP-UTILS/centos7/1.1.0.22/

针对下面这个错误的解决办法

删除或者移走html文件

配置ambari YUM源

cat >/etc/yum.repos.d/ambari.repo



【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3